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Beschreibung 



Kamerabasiertes Precrash-Erkennungsvstem 

Die Erfindung betrifft ein Verfahren gemaB dem Oberbegriff des Patentanspruches 1 
und ein fur die Durchfuhrung des Verfahrens geeignete Vorrichtung gemaB dem 
5 Oberbegriff des Patentanspruches 15. 

Die fruhzeitige Erkennung eines bevorstehenden Aufpralls eines Verkehrsteilnehnners 
auf das Fahrzeug eines Beobachters, ermoglicht es den Insassenschutz als auch den 
Schutz des Kollisionsgegners zu verbessern. Der Zeitgewinn, der durch die visuelle 

10 Erfassung und Auswertung des einsehbaren Bereichs vor dem Fahrzeug des 
Beobachters gewonnen werden kann, eriaubt abgestufte Reaktionen der 
Insassenschutzsysteme (z.B. eine sanfte Zundung des Airbag), bzw. macht Reaktionen 
zum Schutz des Kollisionsgegners erst moglich (z.B.: Anhebung der Motorhaube im Falle 
der FuBgangerkollision). Durch Entwicklungen hin zu schaltbaren Crash-Strukturen wird 

15 der Kenntnis uber Typ des Unfallgegners (Lkw, Pkw, Kraftrad, FuBganger) eine immer 
groBere Bedeutung zukommen. 
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Die aktuelle Entwicklung von Precrash-Sensoren befaBt sich u.a. mit der Untersuchung 
von auf Infrarot-Laser, Ultraschall- oder Radar-Sensoren basierenden Methoden. 
Nachteile dieser Systeme sind teilweise ihre geringe Reichweite (Ultraschall, Infrarot- 
Laser) und ihre Unfahigkeit den potentiellen Kollisionsgegner im Sinne einer sicheren 
Typisierung (Lkw, Pkw, Motorrad, Mensch) zur unterscheiden. Bei radar-basierten 
Systemen konnen unter anderem nicht-metallische Objekte (z.B.: Menschen oder 
Baume) mit kostengunstigen, fur den Fahrzeugeinsatz geeigneten Sensoren nicht 
zuverlassig detektiert werden. Eine zuverlassige Detektion und sichere Typisierung ist 
jedoch fur eine Anpassung einer optimal gestuften Reaktion von Sicherheitssystemen 
bezuglich bevorstehender Kollisionen notwendig. Im Rahmen einer solchen gestuften 
Reaktion sollen beispielsweise im Falle einer Kollision mit einem FuBganger aktive 
MaBnahmen zu dessen Schutz ergriffen werden. Denkbar sind hierbei rasche 
Anderungen in der Gestalt der Fahrzeugkarosserie um die Wahrscheinlichkeit schv/erer 
Kopf- und Beinverletzungen zu reduzieren. Grundvoraussetzung zur Aktivierung dieser 
MaBnahmen ist jedoch, daB das Schutzsystem in der Lage ist, Verkehrsteilnehmer 
sicher zu erkennen und ihrem Typ (z.B.: Pkw, Lkw, Radfahrer, FuBganger) nach zu 
klassifizieren. 

Im allgemeinen wird bei Interpretationsverfahren fur Bildszenen versucht bereits im 
ersten Schritt mit einem meist aufwendigen Sensor (Stereo-Sensor oder 
hochauflosendes Radar bzw. Lidar) neben einer reinen zweidimensionalen 
Bildinformation bereits mehr-dimensionale Szeneninformation zu gewinnen. Um hierbei 
Objekte detektieren zu konnen gehen diese Verfahren jedoch von Modellen, vor allem 
bzgl. der Lage und Ausrichtung potentieiler Ziele sowie einer vorgegebenen, festen 
Geometrie der Ausrichtung bezuglich Sensor und Umgebung aus. In der Praxis ist 
jedoch oft festzustellen, daB diese Modelle und Annahmen des ofteren mit den realen 
Bedingungen nicht ubereinstimmen, was dann in Fehlinterpretationen mundet. 

Aufgabe der Erfindung ist es ein Verfahren und eine geeignete Vorrichtung zu finden, 
welches es eriaubt Verkehrsteilnehmer auf der Grundlage von Kamerabildern zu 
detektieren, deren Entfernung vom Beobachter zu bestimmen und die 
Verkehrsteilnehmer zu klassifizieren. 
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Die Aufgabe wind durch ein Verfahren und eine zur Durchfuhrung dieses Verfahrens 
geeignete Vorrichtung mit den in den Anspruchen 1 und 15 beschriebenen Merkmalen 
gelost. Hierbei ermdglicht die in mehrere Schritte gegliederte Datenaufnahme und 
Objektidentifikation die Verwendung konventioneller Sensorik und bietet zugleich das 
5 Potential fur eine echtzeitfahige Realisierung. 

Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den 
untergeordneten Anspruchen angefuhrt. 

Das erfindungsgemaBe Verfahren identifiziert Regionen innerhalb eines Kamerabildes, in 
welchem sich Verkehrsteilnehnner oder Hindernisse befinden. In vorteilhafter Weise ist 

10 es dabei ausreichend, daB dieses Kamerabild reine zweidimensionale Bildinfornnation 
ohne Entfernungsauflosung enthalt. Die Identifikation erfoigt mit Hilfe eines speziell auf 
die zu erkennendeh Verkehrsteilnehmern und Hindernissen trainierten Klassifikators. In 
einem nachfolgenden Schritt, werden sodann die entsprechend identifizierten Regionen 
markiert und mittels eines entfernungs-messenden Sensors bezuglich ihrer Entfernung 

15 vom Beobachter vermessen. AbschlieBend werden ausgewahlte Regionen einer Typ- 
Klassifikation zur exakten Bestimmung der Art von Verkehrsteilnehmer oder Hindernis 
zugefuhrt. 

Eine zur Durchfuhrung dieses Verfahrens geeignete Vorrichtung enthalt eine 
Monobildkamera, welche mit einer entfernungs-messenden Sensoreinheit gekoppelt ist. 
2 0 Dabei befindet sich dieser Kopplung zwischen- und nachgeschaltet jeweils eine 
Klassifikationseinheit. 

In einer vorteilhaften Ausgestaltung der Vorrichtung ist der nachgeschalteten 
Klassifikationseinheit, welche der Typ-Klassifikation dient, eine Auswahleinheit 
vorgeschaltet, mit Hilfe derer die Anzahl an zu klassifizierenden Regionen gesteuert 

2 5 werden kann. 

Figur 1 zeigt schematisch eine vorteilhafte Ausgestaltung einer solchen Vorrichtung zur 
Durchfuhrung des erfindungsgemaBen Verfahrens. Hierbei stellt die Monobildkamera 1 
die Bilddaten 10 einer Klassifikationseinheit 2 zur Verfugung, welche Bildregionen die 
Verkehrsteilnehmer oder Hindernisse enthalt identifiziert und der entfernungs- 

3 0 messenden Sensoreinheit 3 die entsprechenden Positionsdaten mitteilt. Die 

Sensoreinheit 3 vermiBt sodann diese Bereiche bezuglich ihrer Entfernung vom 
Beobachter. Diese MeBdaten 30 stehen dabei, gemeinsam mit den Daten 20 der ersten 
Klassifikationseinheit 2, einer Auswahleinheit 4 zur Verfugung. Mittels der 
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Auswahleinheit 4 kann der DatenfluB zur nachgeschalteten Einheit zur Typ- 
Klassifikation von ausgewahlten Verkehrsteilnehmern oder Hindernissen 5 gesteuert 
werden. Der Klassifikationseinheit 5 werden die von der Auswahleinheit ausgewahlten 
Bilddaten 40 zur Klassifikation ubermittelt werden. Die Ergebnisse 50 dieser Typ- 
Klassifikation werden in vorteilhafter Weise einem mit der Klassifikationseinheit 
verbundenen Gefahrenrechner zur Verfugung gestellt, so daB dieser Entscheidungen 
uber die Notwendigkeit der Einleitung von situationsgerechen Reaktionen auf treffen 
kann. 

In einer anderen vorteilhaften Ausgestaltung der erfindungsgemaBen Vorrichtung ist es 
auch denkbar, daB die Auswahleinheit 4 entfallt und grundsatzlich alle Daten 20 und 30 
der Klassifikationseinheit 5 direkt zugefuhrt werden. 

In besonders vorteilhafter Weise laBt sich das erfindungsgemaBe Verfahren zur 
Identifikation von Verkehrsteilnehmern und Hindernissen durch die Verwendung eines 
Hyperpermutations-Netzwerk im Rahmen der Klassifikationseinheit 2 gestalten. Ein 
solches Netzwerk ist in der Lage mit hoher Geschwindigkeit pixelbasiert innerhalb der 
Bilddaten 10 Bereiche zu lokalisieren, welche zu einer bestimmten Klasse (hier 
Verkehrsteilnehmer und Hindernisse) gehoren. Der Vorteil der Verwendung einfacher 
zweidimensionaler Bildinformation, zeigt sich nicht nur darin, daB das Verfahren der 
Verwendung einer einfachen kostengunstigen Kamera offen steht, sondern 
insbesondere auch in der Moglichkeit leistungsfahige Klassifikationsalgorithmen unter 
Echtzeitbedingungen die gesamte Bildinformation auswerten zu lassen. Da die von einer 
Monobildkamera 1 gelieferte Bildinformation 10 recht simpel ist, ist es im Gegensatz zu 
herkommlichen meist auf sehr komplexen Daten arbeitenden Verfahren moglich, jedes 
einzelne Bildpixel in die Klassifikation mit aufzunehmen. 

Innerhalb der Klassifikationseinheit 2 wird dem eigentlichen Klassifikator 
(beispielsweise dem Hyperpermutations-Netzwerk) ein Algorithmus, vorteilhafter weise 
ein auf diese Aufgabe adaptierter Box-Algorithmus, nachgestellt, welcher 
zusammengehorige Regionen zu ^regions of interest' ROI zusammenfaBt und markiert, 
so daB diese einer Weiterverarbeitung zugefuhrt werden konnen. 

Im Rahmen dieser Weiterverarbeitung werden die diesen ROI zugehorigen Bereiche 
mittels eines entfernungs-messenden Sensors 3 bezuglich ihrer Entfernung vom 
Beobachter vermessen. In vorteilhafter Weise eignen sich hierfur Radarsysteme oder 
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Stereo-Kamera-Systeme. Da die von diesen Sensoren gewonnenen Daten rein zur 
Entfernungsschatzung und nicht zu einer Typ-Klassifikation in bezug auf die Art von 
Verkehrsteilnehmer oder Hindernis herangezogen werden, ist es nicht notwendig diese 
Sensoren mit extremen Winkelauflosungen und extrem rechenaufwendigen, robusten 
5 Modellen auszustatten. Es kann bevorzugt somit also auf bereits im Fahrzeug 
vorhandene in ihrer Hauptausrichtung auf andere Anwendungen spezialisierte Sensoren 
zuruckgegriffen werden. 

In einer anderen vorteilhaften Ausgestaltung des erfindungsgennaBen Verfahrens ist es 
aber auch denkbar, mittels einer Monobildkamera in Zusammenarbeit nnit einer 

10 komplexen Bildauswertung, im Bereich der ROI eine Entfernungsschatzung durchfuhren 
zu lassen. Da hierbei nur einzelne Ausschnitte (ROI) der gesamten Bildinformation 
bearbeitet werden nnussen, ist beim Einsatz leistungsfahiger Prozessoren moglich, den 
hohen Rechenaufwand in Echtzeit durchzufuhren. Dabei ware es besonders vorteilhaft, 
wenn diese Information einem zweiten Verarbeitungsschritt direkt aus den bereits von 

15 der Monobildkamera 1 gelieferten Bilddaten 10 gewonnen werden konnte. Auf ist es 
moglich das System ohne die Verwendung eines zusatzlichen entfernungs-messenden 
Sensors 3 zu realisieren. 

In vorteilhafter Weise, wird bei dem erfindungsgemaRen Verfahren die aus der 
wiederholten Vermessung der Entfernung der Verkehrsteilnehmer oder Hindernisse vom 
2 0 Beobachter gewonnene Information dazu verwendet, die Relativgeschwindigkeit dieser 
Objekte in Bezug auf den Beobachter zu bestimmen. Besonders vorteilhaft wirkt sich 
dabei aus, wenn der entfernungs-messende Sensor 3 zusatzlich neben der 
Entfernungsinformation auch Geschwindigkeitsinformation liefert (z.B.: Doppler-Radar). 
Auf diese Weise konnte die indirekte Geschwindigkeitsschatzung aus der Abfolge der 

2 5 Entfernungsmessungen entfallen. 

Die Entfernungs- und Geschwindigkeitsinformation 30 wird gemeinsam mit der 
Bildinformation 10 einer Auswahleinheit 4 zugefuhrt. Diese Auswahleinheit entscheidet 
dann gemaB ihren Vorgaben, welche der Bilddaten einer Typ-Klassifikation innerhalb 
einer nachgeschalteten Klassifikationseinheit 5 zugefuhrt werden. Es ist denkbar, dass 

3 0 die Auswahleinheit 4 so konfiguriert wird, daB sie grundsatzlich alle ROI zugehorigen 

Bilddaten einer Typ-Klassifikation zufuhrt. Andererseits konnen aber auch in 
vorteilhafter Weise nur die Bilddaten jener ROI weitergeleitet werden, welche 
Verkehrsteilnehmern oder Hindernissen zugeordnet werden, welche bestimmte Kriterien 
erfullen. Dabei ist vor allem das vorhandene Gefahrdungspotential in Betracht zu Ziehen; 
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so zum Beispiel die GroRe von Objekten oder deren Geschwindigkeit mit der sie sich auf 
den Beobachter zu bewegen oder auch deren Relativgeschwindigkeit allgemein (z,B. 
schnelle oder stehende Objekte). 

Fur die eigentliche Typ-Klassifikation innerhalb der Klassifikationseinheit 5, welche einer 
exakten Bestimmung der Art von Verkehrsteilnehmer oder Hindernis dient, kann auf 
bekannte, speziell auf diese Art von Objekten trainierte Klassifikationsalgorithmen 
zuruckgegriffen werden. In vorteilhafter Weise eigenen sich hierzu Neuronale Netze, wie 
beispielsweise ein Radial-Basis-Funktions-Klassifikator oder eine Support-Vector- 
Maschine. 

In vorzuglicher Weise eignen sich das erfindungsgemaRe Verfahren und die 
erfindungsgemafBe Vorrichtung zur Fruherkennung und Folgeabschatzung von 
Unfallsituationen (PreCrash-Detektion). 
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Patentanspruche 



1. Verfahren zur Detektion von Verkehrsteilnehmern und Hindernissen auf der 
Grundlage von Kamerabildern, zu der Bestimmung deren Entfernung vom Beobachter 
und zu deren Klassifikation, 

dadurch gekennzeichnet, 

daB ein auf die Erkennung von Verkehrsteilnehmern und Hindernissen ausgerichteter 
Klassifikator Regionen innerhalb eines zweidimensionalen, nicht entfernungs- 
aufgelosten Kamerabildes identifiziert, 

daB in einem weiteren Schritt diese so identifizierten Regionen markiert und sodann 
mittels eines entfernungs-naessenden Sensors bezuglich ihrer Entfernung vom 
Beobachter vermessen werden, 

und daB anschlieBend ausgewahlte Regionen einer Typ-Klassifikation zur Erkennung der 
Verkehrsteilnehmer bzw. Hindernisse zugefuhrt werden. 
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2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daB das Kamerabild, welches 
zur Identifikation von Verkehrsteilnehmern herangezogen wird, nur zweidimensionale 
Bildinformation, ohne Entfernungsauflosung enthalt. 

3. Verfahren nach einem der Anspruche 1 oder 2, dadurch gekennzeichnet, daB die aus 
der Vermessung gewonnenen Informationen zur Bestimnriung der Relativgeschwindigkeit 
der einzelnen Verkehrsteilnehmer bzw. Hindernisse benutzt wird. 

4. Verfahren nach einem der Anspruche 1 bis 3, dadurch gekennzeichnet, daB der auf 
die Erkennung von Verkehrsteilnehnnern ausgerichtete Klasslfikator ein 
Hyperpernnutations-Netzwerk ist. 

5. Verfahren nach einem der Anspruche 1 bis 4, dadurch gekennzeichnet, daB ein 
Boxalgorithmus zur Markierung von als Verkehrsteilnehmer identifizierten Regionen 
verwendet wird. 

6. Verfahren nach einem der Anspruche 1 bis 5, dadurch gekennzeichnet, daB der 
entfernungs-messende Sensor ein Radarsensor ist. 

7. Verfahren nach einem der Anspruche 1 bis 5, dadurch gekennzeichnet, daB der 
entfernungs-messende Sensor ein Stereo-Kamerasystem ist. 

8. Verfahren nach einem der Anspruche 1 bis 5, dadurch gekennzeichnet, daB der 
entfernungs-messende Sensor ein Mono-Kamerasystem ist, welches durch geeignete 
Bildverarbeitung in der Lage ist Entfernungsschatzungen vorzunehmen. 

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daB das Mono-Kamerasystem 
das selbe System ist, mittels welchem bereits im ersten Schritt das zweidimensionale, 
nicht entfernungs-aufgeloste Kamerabild generiert wurde. 

10. Verfahren nach einem der Anspruche 1 bis 9, dadurch gekennzeichnet, daB der 
Klassifikatorzur Typ-Klassifikation ein Radial-Basis-Funktions-Klassifikator ist. 

11. Verfahren nach einem der Anspruche 1 bis 9, dadurch gekennzeichnet, daB der 
Klasslfikator zur Typ-Klassifikation eine Support-Vector-Maschine ist. 

12. Verfahren nach einem der Anspruche 1 bis 11, dadurch gekennzeichnet, daB die 
Auswahl der einer Typ-Klassifikation zu unterziehenden Regionen in Abhangigkeit ihrer 
Entfernung und/oder Relativgeschwindigkeit bezuglich des Beobachters getroffen wird. 
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13. Verfahren nach einem der Anspruche 1 bis 11, dadurch gekennzeichnet, daB die 
Auswahl der einer Typ-Klassifikation zu unterziehenden Regionen alle als 
Verkehrsteilnehmer bzw. Hindernis identifizierten Regionen einbezieht. 

14. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, daB 
das Ergebnis der Typ-Klassifikation einem Gefahrenrechner zur Entscheidung uber evtl. 
einzuleitende Reaktionen ubermittelt wird. 



15. Vorrichtung zur Detektion von Verkehrsteilnehmern und Hindernissen auf der 
Grundlage von Kamerabildern, zu der Bestimmung deren Entfernung vom Beobachter 
und zu deren Klassifikation 

dadurch gekennzeichnet, 

daB eine Monobildkamera 1 mit einer entfernungs-messenden Sensoreinheit 3 
gekoppelt ist, 

und daB sich dieser Kopplung zwischen- und nachgeschaltet jeweils eine 
Klassifikationseinheit 2 und 5 befindet. 

16, Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, daB die Monobildkamera 1 
mit einer Klassifikationseinheit 2 verbunden ist, 

daB diese Klassifikationseinheit 2 einen Modul zur Identifikation von Bildregionen, 
welche Verkehrsteilnehmern und Hindernissen zuzuordnen sind, enthalt und welcher 
diese Regionen markiert und die entsprechenden Daten 20 am Ausgang des Moduls fur 
eine Weiterverarbeitung zur Verfugung stellt, 

daB an den Ausgang des Moduls eine entfernungs-messenden Sensoreinheit 3 
gekoppelt ist, welche in der Lage ist, die markierten Bereiche bezuglich ihrer Entfernung 
vom Beobachter zu vermessen, und diese MeBdaten uber eine Verbindung 30 einer 
Auswahleinheit 4 zur Verfugung stellt, uber welche eine zweite Klassifikationseinheit 5 
an das Gesamtsystem angeschlossen ist, welche die ihr von der Auswahleinheit 
gelieferten Regionen 40 bezuglich des Typs von Verkehrsteilnehmer bzw. Hindernis 
klassifiziert. 





* 



- 10- 



P1 12093 



17. Vorrichtung nach einem der Anspruche 15 Oder 16, dadurch gekennzeichnet, daB 
mit dem Ausgang der Klassifikationseinheit zur Typ-Klassifikation 5 ein Gefahrenrechner 
verbunden ist. 

5 18. Verwendung des Verfahrens nach einem der Anspruche 1 bis 14, zur Fruherkennung 
von Unfallsituationen (PreCrash-Detektion). 

19. Verwendung der Vorrichtung nach einem der Anspruche 15 bis 17, zur 
Fruherkennung von Unfallsituationen (PreCrash-Detektion). 





1/1 




Figur 1 
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Zusammenfassung der Erfindung 
Kamerabasiertes Precrash-Erkennungsystem 

Verfahren und eine Vorrichtung zur Detektion von Verkehrsteilnehmern und 
Hindernissen auf der Grundlage von Kamerabildern, zu der Bestimmung deren 
5 Entfernung vom Beobachter und zu deren Klassifikation. In einer zwei-stufigen 
Klassifikation werden potentielle Unfallgegner erkannt und identifiziert. Dabei werden in 
einenn ersten Schritt potentielle Unfallgegner in den Bilddaten einer Monobildkamera 
markiert, anschlieBend deren Entfernung und relative Geschwindigkeit bestimmt, so daB 
gezielt gefahrdende Objekte in Echtzeit einer Typ-Klassifikation unterzogen werden 
10 konnen; Durch die Aufspaltung der Erkennungstatigkeit in mehrere Stufen wird die 
Echtzeitfahigkeit des Systems auch mit konventionellen, bereits im Fahrzeug 
vorhandenen Sensoren ermoglicht. 



